受邀参加 JuiceFS Meetup，分享 AI 数据湖方案

在当今数字化时代，人工智能（AI）正以其前所未有的速度重塑着我们的世界。从医疗、教育到金融、制造业，AI 的应用正不断拓展，成为推动创新和增长的关键力量。随着 AI 技术的不断进步，尤其是大模型的发展，对数据存储和管理的需求也日益增长。这些大模型需要处理和存储海量数据，对存储系统的性能、可扩展性和成本效益提出了新的挑战。

XSKY 星辰天合受邀将于 10 月 23 日（下周三）晚 7 点参加 JuiceFS Meetup，与您共同探讨 AI 时代下的存储解决方案。

话题一：XEOS & JuiceFS

面向私有云和混合云的大模型存储方案

对象存储作为一种高度可扩展、成本效益高的存储解决方案，已成为构建 AI 数据湖的理想选择。它以高度可扩展性和成本效益著称，能够高效处理 AI 训练所需的大量非结构化数据，如图片和视频，同时提供数据共享、持久化和高可靠性。此外，对象存储的云原生特性使其成为多云和混合云环境中的理想选择，为 AI 项目的数据管理和分析提供了灵活性和便捷性。

近日，JuiceFS 与 XSKY XEOS 对象存储完成了互相兼容的认证，为企业带来一个性能更高、成本更低、更加灵活的大模型私有化部署方案。

分享大纲

• AI 存储的挑战 & 联合解决方案
• 对象存储选型 & XEOS 优势特性
• XEOS 对比 MinIO、Ceph
• 单桶千亿
• 强大的生命周期能力
• 大规模运营经验

• 小文件加速

•  案例
• 头部大模型
• 智算中心

关于讲师

邹博引

 XSKY 对象存储产品总监

 话题二：JuiceFS Roadmap

JuiceFS 社区版和企业版每年都会发布一次大的版本更新。随着 AI 行业的快速发展，许多前沿技术场景对存储系统提出了更高的要求。最近走访了社区版和企业版的多位用户，基于用户们的反馈，制定了初步的研发计划。

分享大纲

• JuiceFS 社区版 v1.3 Roadmap

• 支持 Ranger

• 新增 SDK 支持：Python && Go

• 插件化架构，动态加载对象存储支持组件（Ceph 和 Gluster）

• 高效的备份格式

•  企业版 v5.2 Roadmap

• 分布式缓存性能优化

• 热点分区自动均衡

• 高性能 FUSE 优化

• 系统流控优化

关于讲师

黄杰烽

JuiceFS 系统工程师，多年分布式存储研发经验

话题三：好未来：多云环境下

基于 JuiceFS 建设低运维的模型仓库

好未来，前身学而思，于 2010 年在美国纽约证券交易所上市。公司积极将大模型研究应用于教学产品中，近期推出了数学领域的千亿级大模型。

好未来的基础平台需要管理模型的生产、测试以及应用的整个过程，数据需要在多个团队之间流转。于此同时，平台在多云和私有云环境中运行训推集群，这些环境采用不同数据资产管理方式，包括 NFS、Ceph、PFS 和 OSS 。由此带来了复杂的数据管理工作，需多名开发者和运维人员反复核对，增加了数据丢失或泄露的风险。随着 AI 业务的发展，模型的体积和数量不断膨胀，现有的管理模式将对生产和运维构成严峻挑战。

为解决这些问题，团队基于 JuiceFS 开发了一个模型仓库，支持用户从各个云环境上传并统一管理模型。一个上百 GB 的大模型仅需 10 分钟即可上传，且显著降低了运维投入。通过 JuiceFS CSI 组件，好未来将模型仓库挂载到各个集群中，数据的挂载配置只需 1 分钟，使得部署 AI 应用变得更加容易。此外，通过实施权限控制、克隆备份等策略，有效减少了用户误操作的损失并提高了数据安全性。目前好未来在多云多地部署了两套元数据和数据仓库；对象存储的使用量达 6TB，存储超过 100 个模型。

分享大纲

• 大模型背景下模型仓库的挑战是什么？
• 区别于镜像仓库，为什么需要模型仓库？
• 训推场景下对模型仓库的要求有哪些？
• 如何分发百 GB 的模型到不同云？
• 混合云架构下，如何在成本、性能、稳定性之间做好取舍？
• 模型仓库存储系统的选型与思考
• CephFS vs GPFS vs OSS vs JuiceFS
•  好未来模型仓库的技术实践方案
• 训推过程中模型仓库读写设计
• 模型仓库上传与下载的设计
•  未来准备拓展的应用场景：
• 多云之间按需同步
• 分布式 cache 进一步加

关于讲师

贺龙华

好未来云原生负责人，多年云原生基础平台研发、大规模应用PaaS系统经验，曾就职于百度基础架构部。

立即预约

议程

     19:00-20:15

Talk1 - JuiceFS Roadmap   黄杰烽，Juicedata 系统工程师Talk2 - 好未来：多云环境下基于 JuiceFS 建设低运维的模型仓库贺龙华，好未来云原生负责人Talk3 - XEOS & JuiceFS：面向私有云和混合云的大模型存储方案邹博引，XSKY 对象存储产品总监

 往期推荐 

XEOS 与 JuiceFS 完成联合认证，携手共建大模型私有化存储方案
XSKY 在 2024 年上半年实现显著增长，对象存储软件稳居市场第一
【SDS V6.4 特性专题】从多站点到多活，XEOS对象数据容灾能力再提升

更多活动资讯，关注XSKY星辰天合服务号